Byens navn kan spores langt tilbage i ti- den. I navnet indgår det hebraiske navn for fred "shalom". Byen har siden ca. 1800 f.Kr. ligget på en højderyg godt be- skyttet af dybe dale til tre sider. Det lykkedes først kong David at erobre byen fra jebusitterne, som havde modstået Josvas erobring af det øvrige land. David gør Jerusalem til hovedstad, og sønnen Salomo bygger det første tempel i byen. Templet og byen blev ødelagt af Nebu- kadneser 587 f.Kr. Efter hjemkomsten fra fangenskabet i Babylon blev byen og tem- plet genopbygget, men ødelagt igen af romerne i år 70 e.Kr. Nogle jøder blev dog tilbage, men de blev sammen med kristne jøder endeligt fordrevet fra byen af den romerske kejser Hadrian i år 135 e.Kr. Byen blev genrejst som en romersk by kal- det Aelia Capitolina med et Jupitertempel.